Đài thiên văn được thành lập vào năm 1883 với tên gọi Đài thiên văn Hồng Kông bởi ngài George Bowen, vị thống đốc thứ 9 của Hồng Kông. GIám đốc đầu tiên của đài thiên văn này là Tiến sĩ William Doberck (1852-1941). Các hoạt động đầu tiên của đài thiên văn này bao gồm quan sát khí tượng và từ trường, dịch vụ thời gian dựa trên các quan sát thiên văn và một dịch vụ cảnh báo bão nhiệt đới. Đài thiên văn này được đổi tên thành Đài thiên văn Hoàng gia Hồng Kông (tiếng Trung: 皇家香港天文台) sau khi nhận được Hiến chương Hoàng gia vào năm 1912.[1] Đài thiên văn này lại được đổi về tên ban đầu vào năm 1997 sau sự kiện trao trả Hồng Kông cho Trung Quốc.

Đài thiên văn Hồng Kông được xây dựng tại Tsim Sha Tsui, Kowloon vào năm 1883. Đường Đài thiên văn ở Tsim Sha Tsui cũng được đặt tên theo công trình này. Tuy nhiên, do tốc độ đô thị hoá cao, đài thiên văn này bị vây quanh bởi các toà nhà chọc trời. Do sự phát thải khí nhà kính, dẫn đến hiện tượng phản chiếu ánh sáng mặt trời từ các tòa nhà và các bề mặt của con đường, cũng như sự suy giảm của các thảm thực vật; đài thiên văn này chịu ảnh hưởng của hiện tượng hòn đảo nhiệt. Điều này được chứng minh qua sự gia tăng đáng kể nhiệt độ trung bình của Đài quan sát từ năm 1980 đến năm 2005. Năm 2002, Đài thiên văn đã mở cửa một trung tâm tài nguyên tại Tầng 23 của tháp Miramar gần đó, nơi công chúng có thể mua các ấn phẩm của Đài quan sát Hồng Kông và truy cập vào các thông tin khí tượng.